#attention scaling

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5小时前

基于attention的scaling到头了，基于emotion的evolutionary 即将到来！ LLM唯一值得scaling的只剩下attention窗口大小了！

#attention scaling #emotion evolution #LLM #attention窗口大小